Localized Adaptation Reveals Distinct Learning Signatures in Transformers
局部适调揭示 Transformer 中不同学习目标的分层偏好
🧭 LoRA 层位置与学习特征适配
Yale University
不同层应用 LoRA 会形成各异的学习特征：词法绑定重早期层，事实关联偏后期层，行为策略学后期动作、中期门控
📌 工作参考价值（4 点）
- 任务驱动的 LoRA 层选择：若需让模型快速绑定新商品名、品牌词等（词法绑定），优先在早期层（1–6层）插入 LoRA，获取速度快且对无关上下文扰动小；若需更新商品属性、事实知识，则应在后期层（约20+层）适配，避免覆盖早期通用表示。
- 对话/Agent 策略微调解耦：行为策略学习（如导购话术、推词决策）中，行为的具体生成（action）适合在后期层适配，而策略控制（何时执行）适合在中间层适配，可分层挂载不同 LoRA 模块，减少策略遗忘与干扰。
- 因果与流程推理任务适配位置：类似推理“用户搜索→点击→转化”的因果链或售后流程，在模型中、后期或全层适配效果更好，不建议只在单侧浅层或深层微调。
- 避免灾难性迁移的基础原则：当希望模型在新任务上泛化且不破坏原有能力时，可参考论文学到的“适应几何”：获取、迁移、边界性三者往往不可兼得，需按业务目标选择关键层位，如追求高迁移性能需考虑中层或全栈适配。